Managing novelty in perception-based human activity recognition (HAR) is critical in realistic settings to improve task performance over time and ensure solution generalization outside of prior seen samples. Novelty manifests in HAR as unseen samples, activities, objects, environments, and sensor changes, among other ways. Novelty may be task-relevant, such as a new class or new features, or task-irrelevant resulting in nuisance novelty, such as never before seen noise, blur, or distorted video recordings. To perform HAR optimally, algorithmic solutions must be tolerant to nuisance novelty, and learn over time in the face of novelty. This paper 1) formalizes the definition of novelty in HAR building upon the prior definition of novelty in classification tasks, 2) proposes an incremental open world learning (OWL) protocol and applies it to the Kinetics datasets to generate a new benchmark KOWL-718, 3) analyzes the performance of current state-of-the-art HAR models when novelty is introduced over time, 4) provides a containerized and packaged pipeline for reproducing the OWL protocol and for modifying for any future updates to Kinetics. The experimental analysis includes an ablation study of how the different models perform under various conditions as annotated by Kinetics-AVA. The protocol as an algorithm for reproducing experiments using the KOWL-718 benchmark will be publicly released with code and containers at https://github.com/prijatelj/human-activity-recognition-in-an-open-world. The code may be used to analyze different annotations and subsets of the Kinetics datasets in an incremental open world fashion, as well as be extended as further updates to Kinetics are released.

{g} {ustav} Fechner 1860年的心理物理学描述，即对其刺激的感觉的测量，被广泛认为是现代心理科学的出现。在心理物理学中，研究人员的参数会改变刺激的某些方面，并衡量人类受试者对该刺激的经历的变化；这样做可以深入了解感觉与唤起它的物理输入之间的关系。这种方法在感知域中大量使用，包括信号检测，阈值测量和理想的观察者分析。像视觉科学这样的科学领域始终依靠心理物理学的方法和程序，但是现在，机器学习研究人员对它们的越来越多，通过在生物学和人工感知之间扩大重叠\ cite \ cite {rojas2011automation {scheireratom，scheirer2014Perceptial2014Perceptual，Escalera2014ChaleAr2014Chalearearearearearnnag，Zhangy2018Agic， grieggs2021measuring}。由行为测量所指导的机器感知，而不是仅限于任意分配人类标签的指导，具有为人工智能进一步进步的巨大潜力。

Monumental advancements in artificial intelligence (AI) have lured the interest of doctors, lenders, judges, and other professionals. While these high-stakes decision-makers are optimistic about the technology, those familiar with AI systems are wary about the lack of transparency of its decision-making processes. Perturbation-based post hoc explainers offer a model agnostic means of interpreting these systems while only requiring query-level access. However, recent work demonstrates that these explainers can be fooled adversarially. This discovery has adverse implications for auditors, regulators, and other sentinels. With this in mind, several natural questions arise - how can we audit these black box systems? And how can we ascertain that the auditee is complying with the audit in good faith? In this work, we rigorously formalize this problem and devise a defense against adversarial attacks on perturbation-based explainers. We propose algorithms for the detection (CAD-Detect) and defense (CAD-Defend) of these attacks, which are aided by our novel conditional anomaly detection approach, KNN-CAD. We demonstrate that our approach successfully detects whether a black box system adversarially conceals its decision-making process and mitigates the adversarial attack on real-world data for the prevalent explainers, LIME and SHAP.

综合产生的内容的广泛扩散是一种需要紧急对策的严重威胁。合成含量的产生不限于多媒体数据，如视频，照片或音频序列，但涵盖了可以包括生物图像的显着大面积，例如西幕和微观图像。在本文中，我们专注于检测综合生成的西幕图像。生物医学文献在很大程度上探讨了西部污染图像，已经表明了如何通过目视检查或标准取证检测器轻松地伪造这些图像。为了克服缺乏公开可用的数据集，我们创建了一个包含超过14k原始的西幕图像和18K合成的Western-Blot图像的新数据集，由三种不同的最先进的生成方法产生。然后，我们调查不同的策略来检测合成的Western印迹，探索二进制分类方法以及单级探测器。在这两种情况下，我们从不利用培训阶段的合成纤维图像。所达到的结果表明，即使在这些科学图像的合成版本未优化利用检测器，综合生成的西幕图像也可以具有良好的精度。

面部合成的进步已经提出了关于合成面的欺骗性使用的警报。合成综合性可以有效地用于欺骗人类观察者吗？在本文中，我们介绍了使用不同策略产生的合成面的人类感知的研究，包括基于最先进的深学的GaN模型。这是第一次严格研究从心理学的实验技术接地的合成面代发电技术的有效性研究。我们回答了重要的问题，如GaN的频率和更传统的图像处理的技术混淆人类观察者，并且在综合性脸部图像中有细微的线索，导致人类将其视为假冒，而无需寻找明显的线索还为了回答这些问题，我们进行了一系列大规模众群行为实验，具有不同的面膜。结果表明，人类无法在几个不同的情况下区分真实面的合成面。这一发现对面部图像呈现给人类用户的许多不同应用具有严重影响。

人类识别对象何时已知或当前新颖的能力胜过所有开放式识别算法。通过心理学视觉心理物理学的方法和过程来衡量的人类感知可以为计算机视觉中的视觉识别任务中的新颖性提供附加的数据流。例如，人类受试者的测量反应时间可以提供有关是否可能与新颖的样本相混淆的洞察力。在这项工作中，我们设计并进行了大规模的行为实验，该实验收集了超过200,000种与物体识别相关的人类反应时间测量。收集的数据指示的反应时间在样本级别的对象之间有意义地变化。因此，我们设计了一种新的心理物理损失函数，该函数在深网中与人类行为保持一致性，该函数在不同图像中显示出可变的反应时间。与生物学愿景一样，这种方法使我们能够在标记有限的培训数据的制度中实现良好的开放式识别性能。通过使用来自ImageNet的数据的实验，当训练具有这种新配方的多尺度登记材料时，可以观察到显着改善：经过损失功能训练的模型可显着提高TOP-1验证精度7％，对已知样品的TOP-1测试准确性提高18％ ，以及未知样品的TOP-1测试精度33％。我们将我们的方法与文献中的10种开放式识别方法进行了比较，这些方法在多个指标上的表现都优于。

在本文中，我们分析了面部图像中基本身份的基本3D形状如何扭曲其整体外观，尤其是从深面识别的角度来看。正如在流行的训练数据增强方案中所做的那样，我们以随机选择或最合适的3D面部模型的形式渲染真实和合成的面部图像，以产生基本身份的新视图。我们比较了这些图像产生的深度特征，以评估这些渲染引入原始身份的扰动。我们以各种程度的面部偏航进行了这种分析，基本身份的性别和种族各不相同。此外，我们调查在这些渲染图像中添加某种形式的上下文和背景像素，当用作训练数据时，进一步改善了面部识别模型的下游性能。我们的实验证明了面部形状在准确的面部匹配中的重要性，并基于上下文数据对网络训练的重要性。

深度卷积神经网络（DCNN）最初是受生物视觉原理的启发，已演变为对象识别的最佳当前计算模型，因此表明在整个与神经图像和神经时间序列数据的比较中，都表明了与腹视觉途径的强大结构和功能并行性。随着深度学习的最新进展似乎降低了这种相似性，计算神经科学面临挑战，以逆转工程，以获得有用模型的生物学合理性。虽然先前的研究表明，生物学启发的体系结构能够扩大模型的人类风格，但在本研究中，我们研究了一种纯粹的数据驱动方法。我们使用人类的眼睛跟踪数据来直接修改训练示例，从而指导模型在自然图像中对象识别期间的视觉注意力朝着或远离人类固定的焦点。我们通过GARGCAM显着性图比较和验证不同的操纵类型（即标准，类人类和非人类的注意力）与人类参与者的眼动数据。我们的结果表明，与人类相比，所提出的指导焦点操作的作用是在负方向上的意图，而非人类样模型则集中在明显不同的图像部分上。观察到的效果是高度类别特异性的，它通过动画和面部的存在增强，仅在完成前馈处理后才开发，并表明对面部检测产生了强烈的影响。然而，使用这种方法，没有发现人类的类似性。讨论了公开视觉注意力在DCNN中的可能应用，并讨论了对面部检测理论的进一步影响。

灵巧的操纵仍然是机器人技术中的一个空缺问题。为了协调研究界为解决这个问题的努力，我们提出了共同的基准。我们设计和构建了机器人平台，该平台托管在MPI上供智能系统托管，可以远程访问。每个平台由三个能够敏捷物体操纵的机器人手指组成。用户能够通过提交自动执行的代码（类似于计算群集）来远程控制平台。使用此设置，i）我们举办机器人竞赛，来自世界任何地方的团队访问我们的平台以应对具有挑战性的任务ii）我们发布了在这些比赛中收集的数据集（包括数百个机器人小时），而我们为研究人员提供了访问自己项目的这些平台。

尽管近期因因果推断领域的进展，迄今为止没有关于从观察数据的收集治疗效应估算的方法。对临床实践的结果是，当缺乏随机试验的结果时，没有指导在真实情景中似乎有效的指导。本文提出了一种务实的方法，以获得从观察性研究的治疗效果的初步但稳健地估算，为前线临床医生提供对其治疗策略的信心程度。我们的研究设计适用于一个公开问题，估算Covid-19密集护理患者的拳击机动的治疗效果。